Gepubliceerd: 14 mei 2024, Laatst bijgewerkt: 20 mei 2024
We ontwikkelen webplatform-API's en browserfuncties die ontworpen zijn om te werken met AI-modellen, expertmodellen en grote taalmodellen (LLM's), die in de browser zijn ingebouwd. Dit omvat Gemini Nano , de meest efficiënte versie van de Gemini-familie van LLM's, ontworpen om lokaal te draaien op de meeste moderne desktop- en laptopcomputers. Dankzij ingebouwde AI kan uw website of webapplicatie AI-gestuurde taken uitvoeren, zonder dat u AI-modellen hoeft te implementeren, beheren of zelf te hosten.
Ontdek de voordelen van ingebouwde AI, ons implementatieplan en hoe u van deze technologie kunt profiteren.
Voordelen van ingebouwde AI voor webontwikkelaars
Dankzij de ingebouwde AI biedt en beheert uw browser fundamentele en deskundige modellen.
Ingebouwde AI biedt de volgende voordelen:
- Eenvoudige implementatie : de browser distribueert de modellen, houdt rekening met de mogelijkheden van het apparaat en beheert updates. Dit betekent dat u niet verantwoordelijk bent voor het downloaden of bijwerken van grote modellen via een netwerk. U hoeft zich geen zorgen te maken over opslagverwijdering, runtime-geheugenbudget, serverkosten en andere uitdagingen.
- Toegang tot hardwareversnelling : De AI-runtime van de browser is geoptimaliseerd om de beschikbare hardware optimaal te benutten, of het nu gaat om GPU, NPU of CPU. Hierdoor kan uw app op elk apparaat optimaal presteren.
Voordelen van client-side uitvoering
Met ingebouwde AI kunt u AI aan de clientzijde uitvoeren, wat betekent dat u van de volgende voordelen profiteert:
- Lokale verwerking van gevoelige gegevens : client-side AI kan uw privacy verbeteren. Als u bijvoorbeeld met gevoelige gegevens werkt, kunt u gebruikers AI-functies aanbieden met end-to-end encryptie.
- Snelle gebruikerservaring : in sommige gevallen betekent het weglaten van de retourroute naar de server dat u vrijwel direct resultaten kunt bieden. Client-side AI kan het verschil maken tussen een bruikbare functie en een suboptimale gebruikerservaring.
- Meer toegang tot AI : De apparaten van uw gebruikers kunnen een deel van de verwerkingslast op zich nemen in ruil voor meer toegang tot functies. Als u bijvoorbeeld premium AI-functies aanbiedt, kunt u deze functies vooraf bekijken met client-side AI, zodat potentiële klanten de voordelen van uw product kunnen zien, zonder extra kosten voor u. Deze hybride aanpak kan u ook helpen bij het beheersen van inferentiekosten, met name voor veelgebruikte gebruikersstromen.
- Offline AI-gebruik : Uw gebruikers hebben toegang tot AI-functies, zelfs zonder internetverbinding. Dit betekent dat uw websites en webapps offline of met variabele connectiviteit naar behoren kunnen werken.
Hybride AI: client-side en server-side
Hoewel client-side AI een breed scala aan use cases aankan, vereisen sommige use cases server-side ondersteuning. Server-side AI is een uitstekende optie voor grote modellen en kan een breder scala aan platforms en apparaten ondersteunen.
U kunt een hybride aanpak overwegen als uw toepassing het volgende vereist:
- Complexiteit: Specifieke, toegankelijke use cases zijn gemakkelijker te ondersteunen met AI op het apparaat. Overweeg voor complexe use cases server-side implementatie.
- Veerkracht : wordt standaard aan de serverzijde gebruikt en op het apparaat zelf wanneer het apparaat offline is of een slechte verbinding heeft.
- Graceful fallback : De adoptie van browsers met ingebouwde AI zal tijd kosten, sommige modellen zijn mogelijk niet beschikbaar en oudere of minder krachtige apparaten voldoen mogelijk niet aan de hardwarevereisten om alle modellen optimaal te laten draaien. Bied die gebruikers server-side AI aan.
Als u bijvoorbeeld de ingebouwde Prompt API gebruikt (binnenkort beschikbaar in een proefversie), werkt de API alleen voor Chrome-browsers op desktop en in Chrome-extensies, op Windows, macOS en Linux. Om ervoor te zorgen dat al uw gebruikers profiteren van uw AI-functie, kunt u een hybride architectuur opzetten met Firebase AI Logic .
Wanneer u Gemini-modellen gebruikt, kunt u backend-integratie met Node.js bouwen.
Toegang tot ingebouwde AI
U kunt toegang krijgen tot ingebouwde AI-mogelijkheden, voornamelijk via taak-API's , zoals de Translator API of de Summarizer API. Taak-API's zijn ontworpen om inferentie uit te voeren op basis van het beste model voor de opdracht.
In Chrome zijn deze API's gebouwd om inferentie uit te voeren tegen Gemini Nano met finetuning of een expertmodel. Gemini Nano is ontworpen om lokaal te draaien op de meeste moderne apparaten en is het meest geschikt voor taalgerelateerde toepassingen, zoals samenvatten, herformuleren of categoriseren.
Wanneer u ingebouwde AI moet gebruiken
Hier zijn een paar manieren waarop ingebouwde AI u en uw gebruikers kan helpen:
- AI-verbeterde consumptie van content : inclusief samenvatting, vertaling, categorisering, karakterisering en als kennisaanbieder.
- AI-ondersteunde contentcreatie : zoals schrijfondersteuning, proeflezen, grammaticacorrectie en herformuleren.
Verschillende van de ingebouwde AI API's zijn beschikbaar in Chrome stable en origin trials. Exploratory API's en early-stage API's zijn beschikbaar voor deelnemers aan het Early Preview Program (EPP) .
Bekijk nieuwe functies
Wij hebben uw input nodig om de API's vorm te geven, ervoor te zorgen dat ze voldoen aan uw use cases en als input te dienen voor onze gesprekken met andere browserleveranciers over standaardisatie.
Sluit u aan bij de EPP om feedback te geven op ideeën voor ingebouwde AI in een vroeg stadium en ontdek mogelijkheden om API's in uitvoering te testen via lokale prototyping.